599. Орлов А.И. Теоретическое обоснование «турнирного» метода ранжирования вариантов. - Журнал «Заводская лаборатория». 2005. Т.71. No.7. С.60-61.

Теоретическое обоснование «игрового» метода
ранжирования вариантов

А.И.Орлов

Построена вероятностно-статистическая модель процесса ранжирования вариантов и на ее основе доказана состоятельность оценки кластеризованной ранжировки, полученной «игровым» методом.

	В статье [1] предложен метод ранжирования вариантов, названный «игровым». Каковы статистические свойства этого метода? Позволяет ли он выявить истинное упорядочение вариантов? Другими словами, является ли состоятельной оценка упорядочения (ранжировки) вариантов, рассчитываемая с помощью «игрового» метода? 
	Для ответа на эти вопросы необходимо изучить свойства расчетной процедуры анализа данных. Как известно [2], такое изучение, как правило, состоит из двух этапов:
	1. Построение вероятностно-статистической модели порождения данных.
	2. Математико-статистическое изучение свойств расчетной процедуры анализа данных.
	Пусть рассматривается k вариантов технического решения. В соответствии с описанием процедуры в статье [1] будем считать, что влияние i-го варианта, i = 1, 2, ... , k, на изучаемый параметр описывается (числовой) случайной величиной Xi с функцией распределения Fi(x). Таким образом, сравнение двух вариантов - это сравнение функций распределения. Такое сравнение можно проводить разными способами - по тем или иным характеристикам (математическим ожиданиям, медианам, дисперсиям, квантилям порядка 0,999999, коэффициентам вариации и др.) или непосредственно с целью обнаружения различия между функциями распределения. Выбор того или иного способа сравнения зависит от решаемой задачи. На примере оценки рисков (аварий, загрязнения окружающей среды, дефектности и др.) в [2] продемонстрирован подобный выбор.
	Согласно [1] сравнивать надо математические ожидания. Лучше тот вариант, у которого математическое ожидание больше. Тогда результаты сравнения k вариантов технического решения описываются кластеризованной ранжировкой (термин, введенный в [3]). Другими словами, варианты разбиты на группы. В каждой группе математические ожидания совпадают. Между группами - различаются. Группы упорядочены в порядке возрастания математических ожиданий. Теоретическую кластеризованную ранжировку, соответствующую математическим ожиданиям, необходимо оценить по эмпирическим данным.
	Поскольку функции распределения и их математические ожидания при сравнении конкретных вариантов технического решения неизвестны, то сравнения приходится проводить на основе выборок. Принимаем, что влияние i-го варианта, i = 1, 2, ... , k, на изучаемый параметр оценивается с помощью выборки объема ni, т.е. набора реализаций ni независимых случайных величин с общей функцией распределения Fi(x). Выборки предполагаются независимыми. Вероятностно-статистическая модель порождения данных описана.
	В соответствии с «игровым» методом ранжирования сравнение двух вариантов состоит в статистической проверке нулевой гипотезы о равенстве соответствующих математических ожиданий. Если нулевая гипотеза принимается, то каждому варианту присваивается по 0,5 очка. Если нулевая гипотеза отклоняется, то варианту с большим выборочным средним арифметическим присваивается 1 очко, а с меньшим - 0 очков. Проводятся все k(k-1)/2 парных сравнений, полученные очки суммируются, варианты упорядочиваются в порядке возрастания набранных сумм. Получаем эмпирическую кластеризованную ранжировку. 
	В соответствии с рекомендациями [4] для проверки равенства математических ожиданий в [1] применяется критерий Крамера-Уэлча. Граничное значение для модуля статистики принято равным 1,645, что соответствует уровню значимости 0,1 (точнее, асимптотическому уровню значимости при безграничном росте объемов выборок). При решении задачи выбора конструкции коллектора для трибоэлектрического генератора в [1] получена следующая эмпирическая кластеризованная ранжировка типов коллекторов:
{игольчатый}<{кисточкообразный; ленточный с изгибом}<
{штыковой}<{пилообразный; Г-образный}.
Качество вариантов убывает при движении справа налево. Самыми лучшими являются такие варианты, как «пилообразный» и «Г-образный». (Причем по данным [1] эти варианты надо считать эквивалентными, они образуют кластер.) Хуже по качеству «штыковой» коллектор, и т.д. 
	Эмпирическая кластеризованная ранжировка используется как оценка теоретической. Каковы математико-статистические свойства этой оценки? Поскольку кластеризованная ранжировка - это объект нечисловой природы, то для изучения свойств процедуры, предложенной в статье [1], необходимо применить подходы и результаты статистики объектов нечисловой природы [2, 5].
	Теорема 1. При безграничном росте объемов выборок (т.е. при ) и фиксированном числе k вариантов вероятность того, что эмпирическая кластеризованная ранжировка совпадает с теоретической, стремится к 1.
	В соответствии с теоремой 1 предложенная в работе [1] оценка теоретической кластеризованной ранжировки является состоятельной. Доказательство теоремы 1 проводится методами, разработанными в главе 8 монографии [2].
	Как измерить степень близости эмпирической и теоретической кластеризованных ранжировок? В соответствии с известным в статистике объектов нечисловой природы аксиоматическим подходом целесообразно использовать расстояние Кемени [2, 5], или, что эквивалентно, коэффициент ранговой корреляции Кендалла. Справедливы следующие теоремы.
	Теорема 2. При справедливости условий теоремы 1 расстояние Кемени между эмпирической кластеризованной ранжировкой и теоретической стремится к 0.
	Теорема 3. При справедливости условий теоремы 1 коэффициент ранговой корреляции Кендалла между эмпирической кластеризованной ранжировкой и теоретической стремится к 1.
	Таким образом, с точки зрения асимптотической математической статистики предложенный в работе [1] «игровой» метод ранжирования вариантов получил обоснование. Что же касается конечных объемов выборок, особенно столь малых, как в [1], где все ni = 3, то необходимы дальнейшие исследования, прежде всего методом статистических испытаний. Различные методы оценки близости допредельных и предельных распределений статистик проанализированы в статье [6]. Приходится констатировать, что простые рекомендации отсутствуют.

Литература
1. Файн В.Б., Дель М.В. / Заводская лаборатория. 2005. Т.71 (в настоящем номере).
2. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 2-е, исправленное и дополненное. - М.: Изд-во "Экзамен", 2003. – 576 с.
3. Горский В.Г., Гриценко А.А., Орлов А.И. / Автоматика и телемеханика. 2000. № 3. С.179-187.
4. Орлов А.И. / Заводская лаборатория. 2003. Т.69. № 1. С.55-60. 
5. Орлов А.И. / Заводская лаборатория. 1990. Т.56. № 3. С.76-83.
6. Орлов А.И. / Заводская лаборатория». 1998. Т.64. № 5. С. 64-67.